🦊Differential Diffusion
https://gyazo.com/1a5092f0471b16de478f6fb94f21a4b4
さて、そのマスクですがことStable Diffusionの世界では、基本的に"白"か"黒"かの二択でしか判断しません
つまり、上の画像のようにグラデーションになっているマスクを使った場合、ちょっとでもグレーになった部分はマスクとしては無視されてしまうので、左下の真っ白な場所のみのinpaintingとなります
では上の画像はどうやって作ったのでしょう🤔
マスクの濃度によって無段階でdenoiseの強度を変えられるようにした技術です
使い方は無限大！
グラデーションしたマスクで滑らかに変化させる
https://gyazo.com/d799b8298af782a5b4ad4d5653d77fb6
https://gyazo.com/8d2eb48340cf6f6f99e539e11517d6a2https://gyazo.com/d8cd78b75de91ed4e9a1da1eedfcf21dhttps://gyazo.com/1f32a3d04b7ee26518803718151fc1d0
Stable Diffusion 1.5限らず、SDXL、Fluxでも使用可
部位ごとに変化量を変える
https://gyazo.com/f435fff3ed696caf4f2fab4d7bf1ce0e
https://gyazo.com/ff958820180efd9b316cb42ddd9c0276https://gyazo.com/2d0d14ad85109598f389e5ac0ad7b85fhttps://gyazo.com/51543a0455bf2d87a57bff0099f7f49b
マスクはグラデーションである必要はありません
一つの画像内の場所ごとに違う濃さマスクを描けば、一回のサンプリングで別々の変化をつけられます
マスクの境界をぼかす
https://gyazo.com/202663f5a283548adad8ad9faa1d376c
inpaintingの問題点として、inpaintingした場所とそうでない場所の境目がはっきり見えてしまうというのがありますが、Differential Difffsionで解決することができます
https://gyazo.com/aaa2891989277d3a33b78e2dea50b32bhttps://gyazo.com/7183854efbed468c1abac22b5b6f6128
ノーマル | マスクブラー + Differential Diffusion
マスクのぼかし、際に行くにつれ変化量を減らすことで、境界が分からない滑らかな画像にすることができます